Các nhà khảo cổ học đã tìm thấy đấy vết sinh hoạt của con người trên hòn đảo này cách đây 10,000 năm về trước. Người Châu Âu quan sát thấy hòn đảo đầu tiên là Juan Rodriguez Cabrillo vào năm 1542, và ông đặt tên nó là Victoria. Hòn đảo này chính thức mang tên là San Clemente sau khi được nhà thám hiểm Tây Ban Nha Sebastian Vizcaino, người phát hiện ra nó vào ngày 23.11.1602 vào ngày lễ của Thánh Clêmentê. Hòn đảo được sử dụng bởi các chủ trang trại, ngư dân, và những kẻ buôn lậu trong thế kỷ 19 và vào thế kỷ 20.Đảo San Clemente chính thức được Hải quân Hoa Kỳ mua lại vào năm 1934 và được sử dụng như nơi tập luyện, thử nghiệm các vũ khí, chiến thuật của Hải quân Hoa Kỳ. Trong Chiến tranh thế giới II, hòn đảo được sử dụng để tập luyện đổ bộ, nhằm huấn luyện binh sĩ sẵn sàn tái chiếm lại bất cứ hòn đảo nào thuộc Hoa Kỳ bị Nhật Bán chiếm đóng. Trên đảo còn có một sân bay quốc phòng của Hải quân Mỹ, sử dụng để tập luyện giả định như trên tàu sân bay và đây là một trong những căn cứ không quân yêu cầu cao nhất quân đội Mỹ, nó được biết đến với gió lớn và địa hình đồi núi xúng quanh đường băng.